在技术迷恋中长大
❦
❦
我父亲常说，如果现行体制在一百年前就已存在，那么汽车早就会为了保护马鞍产业而被明令取缔。
我童年时期的重要影响之一，是在九岁时读到 Jerry Pournelle 的 A Step Farther Out。那是 Pournelle 对 Paul Ehrlich 和罗马俱乐部的回应；他们在 20 世纪 60 年代和 70 年代声称，地球的资源正在耗尽，大饥荒几年之内就会到来。那也是对 Jeremy Rifkin 所谓「热力学第四定律」的回应；也是对所有那些害怕核能、试图把它监管到销声匿迹的人们的回应。
我成长在这样一个世界里：好人和坏人的分界线相当清晰；那不是一场启示录式的最终决战，而是一场必须一再重复去打的战争，一场你能看见其历史回声一路追溯到工业革命、并且能够把真实结果的历史证据拼接起来的战争。
一边，是自黑暗时代以来推动了所有生活水平提升的科学家和工程师；他们的工作支撑着民主、受教育的民众、中产阶级以及废除奴隶制这类奢侈成果。
另一边，则是那些曾反对天花疫苗、分娩麻醉、蒸汽机和日心说的人：呼吁回归一个从未存在过的完美时代的神学家，墨守成规的白人老年男性政客，会因此蒙受损失的特殊利益集团，以及许多把科学当成天书、害怕自己无法理解之物的人。
还有那些试图站在中间地带、装作深邃智慧化身的人，他们说着缓存的想法：技术确实造福人类，但前提是得到恰当监管——他们公然无视赤裸裸的历史事实，声称科学本身无所谓善恶——他们设立起一批看上去庄严的官僚委员会，煞有介事地展示自己的谨慎——然后等着收获掌声灯。仿佛真理永远都是折中方案。又仿佛真有人能看得那么远。要是当年人类在采用火的时候，先来一场真诚、关切、面向公众的辩论，再设若干委员会监管用火，我们就会过得更好吗？
一接触这个问题，我一开始就对任何符合「啊，可是技术既有风险也有益处，小朋友」这种模式的话过敏。默认有罪的前提是：你不是在骗取一些廉价掌声，就是在暗中试图把技术监管到销声匿迹。而无论哪一种，都是在极大程度上无视那些对曾让人担忧的技术有利的历史记录。
Robin Hanson 提起了其他国家已批准药物在 FDA 缓慢获批这个话题。评论区里有人指出，沙利度胺在 50 个国家以 40 个名字出售，但在美国只少量发放，因此全球出生了 10,000 名畸形儿童，而美国只有 17 名。
但由于美国批准速度过慢、而在其他国家更快获批的那些药物——所有那些并没有出问题的药物——又让多少人丧命了呢？我之所以问这个，是因为这至少还是一个你可以尝试收集统计数据的问题——至于所有那些因为审批流程太长、成本太高而根本没有被研发出来的药物，这里还完全没算进去。根据这个来源，FDA 更漫长的审批流程每年通过拦下被发现有害的药物而避免 5,000 人伤亡，同时仅仅因为延迟批准那些仍被研发出来并最终获批的有益药物，就每年额外造成至少 20,000–120,000 人伤亡。
所以，对那些四处说「啊，可是技术既有风险也有益处」的人抱有过敏反应，确实是有理由的。历史记录表明，我们一贯过度保守：监管造成的大量无声死亡，常常敌不过不监管造成的少数可见死亡。要是你真站在中间，为什么不说：「啊，可是技术既有益处也有风险」？
不过，这样描述坏人其实也不算太糟。（只是有一点本该更强调些：他们并不是什么天生邪恶的变种人，而是在另一种会让他们觉得自己才是对的世界观格式塔下行动的普通人；其中有些人必然会比另一些人更能干，而能力非常重要。）即便回头看，我也不认为自己童年时期的技术迷恋，在什么构成了坏人、以及关键错误是什么这两点上错得太离谱。但要说清楚什么不该做，永远都比真正把事情做对容易得多。而我当时的一个根本缺陷，就是以为只要你竭尽所能避开坏人正在做的一切，你就自动成了好人。
我认为，伤害尤其大的是那些深邃智慧的冒牌货所树立的坏榜样：他们试图划出一条中间道路，居高临下地冲着技术迷与技术恐惧者一起微笑，管两边都叫幼稚。说真的，这是一种错误的路；事实上，一般来说，「试图占据中间道路」这个念头通常就是错的。正确的道路不是与任何东西折中；它是其自身标准的干净呈现。
可这反而让年轻的 Eliezer 更难偏离那种一味直冲到底的裁决，因为任何偏离都像是在加入那些深邃智慧的冒牌货。
我童年技术迷恋上的第一道裂缝，大概出现在 1997 或 1998 年，那时我注意到身边的技术迷同伴，居然在说些蠢话，宣称分子纳米技术会是一个很容易管理的问题。（你现在大概又一次注意到了：年轻的 Eliezer 在极大程度上是靠自己找缺陷的能力驱动的——我甚至还有一套私人哲学，专门说明为什么那是个好主意。）
当时正有一场关于分子纳米技术的争论，争论的焦点是：进攻是否会在结构上比防守更容易。而有些人却主张，防守会很容易。在纳米技术这个领域里啊，看在 Ghu 的份上，那可是可编程物质；而我们连在计算机网络这种每一个 0 和 1 都能观测和控制的系统里，看上去都还没把安全问题解决掉。人们还在谈什么坚不可摧的金刚石墙。我指出，钻石也挡不住核武器；自 1945 年以来，进攻一直压着防守打，而纳米技术看起来并不会改变这一点。
等那场争论结束时，看起来，年轻的 Eliezer——在争论的热气里裹挟着——第一次注意到了一个事实：起源于地球的智慧生命的存续本身也处在风险之下。
现在回头看，会觉得那时我居然以为未来里只有个体生命会受到威胁，这件事实在太奇怪了。生活在那样一个世界里，该是何等友善……尽管那时候的我并不会这么想。我并不是拒绝了这种可能性，而更像是根本就从未看到过它。等这个话题真的摆到我面前，我就看见了。我其实不太记得自己当初是怎么做到那一点的。这也是为什么我会用第三人称来指代过去的自己。
Eliezer1998 听上去也许像个彻头彻尾的白痴，但那在某种意义上反而太让人舒服了；真相更可怕。以那类人的标准看，Eliezer1998 是个敏锐的传统理性主义者。我知道假说必须可检验，我知道合理化不是被允许的心智操作，我知道怎么玩理性主义者的禁语游戏，我痴迷于自我觉察……我并没有真正理解「神秘问题的神秘答案」这个概念……对贝叶斯（Bayes）和 Kahneman 更是一无所知。可那又怎样？一个敏锐的、远高于平均水平的传统理性主义者……那又怎样？自然可不会按曲线给我们打分。只要离开正道一步，只要你的思维过程被不当影响推上一把，就足以废掉其他一切防护。
我回顾个人历史得出的一个主要教训是：现实世界里那么多人会觉得「智力并非一切」，或者理性主义者在现实生活中并不会做得更好，这一点根本不奇怪。少量理性，甚至大量理性，都跨不过那个高得离谱的门槛；只有跨过去，事情才会真正开始运转。
别把我对正确道路的误解归咎于 Jerry Pournelle、我父亲，或科幻小说这一整体。我想，年轻的 Eliezer 的性格，对他们教给我的东西究竟哪些能穿透进来，施加了相当强的筛选。并不是 Pournelle 没说过：一旦你离开地球这个摇篮，规则就变了；只要有一次没把压力服封严，你就会死。 他这话说过很多次。只是这些话当时看上去并不真正重要，因为在小说里，这总是发生在配角身上——不知为什么，主角通常不会在故事演到一半时死掉。
我是透过什么透镜来过滤这些教导的？希望。乐观。对更光明未来的期待。这就是 A Step Farther Out 对我而言的根本含义，是我在与 Sierra Club 那套末日阴郁形成对照时所吸收到的教训。一边是理性与希望，另一边是无知与绝望。
有些青少年以为自己不会死，于是去骑摩托车。我可没这种幻觉；看着那些飞驰的金属大块头那么不安全，我连学开车都相当不情愿。但对我来说，有样东西比我自己的生命更重要：未来（The Future）。而我表现得仿佛它才是不朽的。生命可以失去，但未来不会。
而当我注意到，纳米技术真的会成为一种潜在的灭绝级挑战时呢？
年轻的 Eliezer 明明白白地想道：「天哪，我怎么会没注意到这个本来该显而易见的东西？我一定是对自己预期从技术中获得的好处有太强的情感依附了；我一定是下意识地避开了人类灭绝这个念头。」
然后……
我并没有宣布进入一次「停机、熔毁并起火（Halt, Melt, and Catch Fire）」事件。我没有重新思考那些在先前态度下形成的全部结论。我只是不知怎么地，以尽可能少的连锁改动，把这件事整合进了自己的世界观。旧想法和旧计划确实受到了挑战，但我的大脑总能找到理由把它们保留下来。不幸的是，整个系统并没有崩掉。
最显著的是，我决定我们必须全速推进 AI，好在纳米技术之前把它做出来。就像我原本就在计划做的那样，只不过现在，理由不同了。
我猜，大多数人类本来就是这个样子，对吧？传统理性主义并不足以改变这一点。
但后来确实有那么一个时刻，我彻底意识到了自己的错误。只是那需要更重的一脚踹在脑门上。